在分析由（X，Y）-PAIS组成的数据集中，默契假设是每对对应于相同的观察单元。然而，如果通过记录链接获得两种文件的成对，则可以在不匹配错误生根的结果中违反此假设，例如，在两个文件中缺少可靠的标识符中。最近，在这个设置下，在“混合数据”术语下，在该设置中飙升，其中通过未知的索引置换来表示（x，y）-pairs的底层正确配对。置换的显式建模往往与大量的过度装备相关联，提示需要合适的正则化方法。在本文中，我们提出了一种柔性指数家庭，以便在置换组上为此目的，可用于集成各种结构，例如稀疏和局部约束的混洗。这前结果是针对规范洗牌数据问题的缀合物，其中固定置换上的可能性条件可以在相应的（x，y）-pabes上表示为产品。推断是基于EM算法，其中富有居民算法由Fisher-yates算法近似。如果（x，y）-paess的可能性在概括的线性模型的情况下，则显示M-Step以获得从$ n ^ 2 $的大幅减少到$ n $术语。合成和实数据的比较表明，所提出的方法对竞争方法有利比较。
translated by 谷歌翻译
从操作的角度来看，对调查响应率的准确预测至关重要。美国人口普查局的著名漫游应用程序使用了在美国人口普查计划数据库数据中培训的原则统计模型来识别难以调查的领域。较早的众包竞赛表明，一组回归树木在预测调查率方面取得了最佳性能。但是，由于有限的解释性，无法针对预期应用程序采用相应的模型。在本文中，我们提出了新的可解释的统计方法，以高精度地预测调查中的响应率。我们研究通过$ \ ell_0 $ regularization以及提供层次结构化的变体的稀疏非参数添加剂模型，可提供增强的解释性。尽管有强大的方法论基础，这种模型在计算上可能具有挑战性 - 我们提出了学习这些模型的新可扩展算法。我们还为所提出的估计量建立了新的非反应误差界。基于美国人口普查计划数据库的实验表明，我们的方法导致高质量的预测模型，可为不同人群的不同部分可行。有趣的是，我们的方法在基于梯度增强和前馈神经网络的最先进的黑盒机器学习方法中提供了可解释性的显着提高，而不会失去预测性能。我们在Python中实现的代码实现可在https://github.com/shibalibrahim/addived-models-with-sonstructred-interactions上获得。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
自然语言处理（NLP）算法正在迅速改善，但在应用于分布的示例时通常会挣扎。减轻域间隙的突出方法是域的适应性，其中在源域上训练的模型适应了新的目标域。我们提出了一种新的学习设置，``从头开始适应域名''，我们认为这对于以隐私的方式将NLP的覆盖范围扩展到敏感域至关重要。在此设置中，我们旨在有效地从一组源域中注释数据，以便训练有素的模型在敏感的目标域上表现良好，从而从中无法从中获得注释。我们的研究将这种具有挑战性的设置的几种方法比较，从数据选择和域适应算法到主动学习范式，在两个NLP任务上：情感分析和命名实体识别。我们的结果表明，使用上述方法可以缓解域间隙，并将其组合进一步改善结果。
translated by 谷歌翻译
预测不确定性估计对于在现实世界自治系统中部署深层神经网络至关重要。但是，大多数成功的方法是计算密集型的。在这项工作中，我们试图在自主驾驶感知任务的背景下解决这些挑战。最近提出的确定性不确定性方法（DUM）只能部分满足其对复杂计算机视觉任务的可扩展性，这并不明显。在这项工作中，我们为高分辨率的语义分割推动了可扩展有效的DUM，它放松了Lipschitz约束通常会阻碍此类架构的实用性。我们通过利用在任意大小的可训练原型集上的区别最大化层来学习判别潜在空间。我们的方法在深层合奏，不确定性预测，图像分类，细分和单眼深度估计任务上取得了竞争成果。我们的代码可在https://github.com/ensta-u2is/ldu上找到
translated by 谷歌翻译
与传统的机器人手不同，由于固有的不确定性，兼容的手不足的手对模型的挑战。因此，通常基于视觉感知执行抓握对象的姿势估计。但是，在闭塞或部分占地环境中，对手和物体的视觉感知可以受到限制。在本文中，我们旨在探索触觉的使用，即动力学和触觉感测，以构成姿势估计和手动操纵，手工不足。这种触觉方法会减轻并非总是可用的视线。我们强调识别系统的特征状态表示，该状态表示不包括视觉，可以通过简单和低成本的硬件获得。因此，对于触觉传感，我们提出了一个低成本和灵活的传感器，该传感器主要是与指尖一起打印的3D，并可以提供隐式的接触信息。我们将双手手动的手作为测试案例不足，我们分析了动力学和触觉特征以及各种回归模型对预测准确性的贡献。此外，我们提出了一种模型预测控制（MPC）方法，该方法利用姿势估计将对象操纵为仅基于触觉的所需状态。我们进行了一系列实验，以验证具有不同几何形状，刚度和纹理的各种物体的姿势的能力，并以相对较高的精度显示工作空间中的目标。
translated by 谷歌翻译
在执行各种任务时，对象识别是必不可少的功能。人类自然使用视觉和触觉感知来提取对象类和属性。但是，机器人的典型方法需要复杂的视觉系统或多个高密度触觉传感器，这可能非常昂贵。此外，它们通常需要通过直接交互从真实对象中实际收集大型数据集。在本文中，我们提出了一种基于动力学的对象识别方法，该方法可以用任何多指的机器人手来执行，其中运动学是已知的。该方法不需要触觉传感器，并且基于观察对象的掌握。我们利用grasps的独特和框架不变的参数化来学习对象形状的实例。为了培训分类器，培训数据是在计算过程中快速而仅生成的，而无需与真实对象相互作用。然后，我们提出和比较可以集成任何受过训练的分类器的两种迭代算法之间。分类器和算法独立于任何特定的机器人手，因此可以在各种机器人手上施加。我们在实验中表明，算法很少有GRASP获得准确的分类。此外，我们表明对象识别方法可扩展到各种大小的对象。同样，对全局分类器进行了训练，可以识别一般几何形状（例如，椭圆形或盒子），而不是特定的几何形状，并在大型对象上进行了证明。提供了完整的实验和分析以显示该方法的性能。
translated by 谷歌翻译
许多现实世界的识别问题都有不平衡或长尾标签的分布。这些分布使表示形式学习更具挑战性，因为对尾巴类别的概括有限。如果测试分布与训练分布有所不同，例如统一与长尾，需要解决分配转移的问题。为此，最近的作品通过贝叶斯定理的启发，使用边缘修改扩展了SoftMax跨凝结。在本文中，我们通过专家的平衡产品（Balpoe）概括了几种方法，该方法结合了一个具有不同测试时间目标分布的模型家庭，以解决数据中的不平衡。拟议的专家在一个阶段进行培训，无论是共同还是独立的，并无缝融合到Balpoe中。我们表明，Balpoe是Fisher的一致性，可以最大程度地减少均衡误差并执行广泛的实验以验证我们的方法的有效性。最后，我们研究了在这种情况下混合的效果，发现正则化是学习校准专家的关键要素。我们的实验表明，正则化的BALPOE在测试准确性和校准指标上的表现非常出色，从而导致CIFAR-100-LT，Imagenet-LT和Inaturalist-2018数据集的最新结果。该代码将在纸质接受后公开提供。
translated by 谷歌翻译
知识图本质上是不完整的。因此，大量研究是针对知识图完成（KGC）的，即，从知识图（KG）中表示的信息中预测了丢失的三元组。嵌入模型已经为KGC产生了有希望的结果，但是当前的KGC嵌入模型都无法：（1）完全捕获重要的推理模式（例如组成），（2）共同捕获突出的逻辑规则（例如，层次结构和组成），以及（3）提供捕获模式的直观解释。在这项工作中，我们提出了表达式，这是一种完全表达的空间功能嵌入模型，可以同时解决所有这些挑战。表达式将成对的实体作为点和关系作为虚拟三重空间$ \ mathbb {r}^{2d} $中的超平行平行四边形。该模型设计不仅可以共同捕获一组丰富的推理模式，而且还可以通过超平行平行四边形的空间关系来显示任何受支持的推理模式，从而提供表达嵌入及其捕获模式的直观且一致的几何解释。标准KGC基准测试的实验结果表明，表达性与最先进的模型具有竞争力，甚至在WN18RR上的表现明显优于它们。
translated by 谷歌翻译
单眼深度在许多任务中很重要，例如3D重建和自动驾驶。基于深度学习的模型在该领域实现了最新的性能。估计单眼深度的一组新方法包括将回归任务转换为分类。但是，对于社区中回归（CAR）的分类方法缺乏详细的描述和比较，并且没有深入探索其不确定性估计的潜力。为此，本文将介绍汽车方法的分类法和摘要，对汽车的新不确定性估计解决方案以及对Kitti数据集中基于汽车模型的深度准确性和不确定性量化的一组实验。实验反映了两个骨干上各种CAR方法的可移植性的差异。同时，新提出的不确定性估计方法只能用一个正向传播胜过结合方法。
translated by 谷歌翻译